Turing LLM 后训练：校准蒸馏与高效动态 MoE 执行
🧭 LLM 多教师蒸馏与 MoE 执行加速 ★ 深度解读
Foundation Model Team, XPeng Inc.
提出校准多教师在线蒸馏（C-MOPD）与动态 MoE 执行优化，四域能力整合分数达 0.9988 并实现 2.86 倍步骤加速
📌 工作参考价值（4 点）
- 多任务/多场景模型统一：电商搜索/推荐常需同时优化相关性、点击率、GMV、内容质量等多个目标。可仿照 C-MOPD，先对每个目标/场景独立训练 RL specialist，再用多教师在线蒸馏整合到单一学生模型；冻结教师 + 学生在线 rollout 能缓解 exposure mismatch，保留各域增益。
- 蒸馏 loss 校准：不同任务的 token-level loss 尺度往往差异大，直接加权容易让大尺度任务主导。C-MOPD 的 teacher-wise loss-scale normalization（对每个 teacher 的 token losses 求标准差并做缩放、裁剪）简单有效，可在多目标蒸馏、Agent 多能力整合中直接使用，降低调参成本。
- 生成式推荐中的 Top-K 匹配：对于生成式 item token / semantic ID 的蒸馏，只匹配 teacher 的 Top-K token 分布可以避免学生被迫学习不相关长尾 token，减少计算和训练不稳定；同时 teacher-local renormalization 确保 student 的概率质量集中在有效支持内。
- 动态 MoE 训练/推理优化：如果业务模型采用动态 MoE（token 自适应专家数），RW32 这样的 width bounding 加 final-route replay 可保证训练与推理 router 一致性，减少显存和通信开销；异步 rollout 与 actor 更新重叠是通用的 RL 训练加速手段，可迁移到大规模 Agent/推荐 RL 训练。
重新思考在线蒸馏中相对策略差异迁移
🧭 LLM 后训练 · 相对策略差异蒸馏 ★ 深度解读
Zhejiang University · Shanghai Artificial Intelligence Laboratory · Fudan University · The Australian National University · Renmin University of China
通过隐式奖励视角统一相对策略差异迁移，揭示任务定向差异强于规模差异，且参考过滤与目标兼容性决定迁移成败
📌 工作参考价值（4 点）
- 在跨模型蒸馏或复用强模型能力时，优先取「任务定向优化产生的 update」（如 SFT/RL 后的 expert），不要直接拿更大参数的 base 模型当老师；用 logπ_expert - logπ_ref 的隐式奖励替代绝对 logits，能降低对 teacher 绝对能力的依赖。
- 参考模型不是随便选的：reference 应过滤掉与 expert 共享的通用行为，只保留增量。可以通过 top-k token overlap 选择低重叠 reference；若目标模型与 proxy 不同模型族/代际，优先用与目标同 family 的 reference，可把失败迁移救回来。
- 工程上可以用 top-16 token 分布近似，降低计算；训练时对 token 级 advantage 做 centering（减去当前策略期望）避免 intractable log Z；用 on-policy rollout + stop-gradient actor loss，直接适配 autoregressive 生成。
- 蒸馏过程要同时监控 train 与 validation/held-out，关注目标与 expert 的 token overlap 提升；train acc 上升但 val 不涨说明未泛化，应更换 reference 或 target，而不是继续多训。
组合各教师所学：基于教师相对偏移的多教师在线蒸馏
🧭 多教师在线蒸馏 · 目标构建优化 ★ 深度解读
Iowa State University · LinkedIn · Harvard University
提出教师相对基座 logit shift 作为多教师在线蒸馏目标，消除基座偏好，提升组合信号均衡与效率
📌 工作参考价值（4 点）
- 多教师信号融合（如多域专家蒸馏到统一推荐/Agent 策略）时，不直接聚合教师输出，而计算每个教师相对其基座模型的 logit 偏移（teacher-minus-base），再统一锚定到学生初始化 logits，消除基座偏好，避免单一教师主导。
- 工程上需为每个教师保存/加载基座 checkpoint 做额外前向，单步开销增加 12%-27%，但可节省总 GPU 小时（本实验 35% H100-hours）；基座可得且推理成本可接受时优先采用该目标。
- 在多教师蒸馏前，用 norm ratio、cancellation、cosine 等几何指标监控教师项是否均衡；若 norm ratio > 5，说明某个教师的基座偏好显著主导，需做 shift 归一化或校准（如温度调节）再组合。
- 多阶段课程（如先搜索、后推荐、再 Agent 指令）或多域路由训练中，shift 目标能降低训练顺序对结果的影响（顺序差距从 10.50 降到 6.42 pp），对迭代流程更鲁棒。
基于负策略轨迹的在线蒸馏
🧭 LLM 训练 · 在线蒸馏负样本 ★ 深度解读
NAVER AI Lab
在 OPD 的 rollout 阶段混入低能力负策略轨迹，不改变奖励公式即可注入显式负信号，显著提升推理性能。
📌 工作参考价值（4 点）
- 在 LLM 微调/蒸馏中引入弱模型负样本 rollout：如果业务中有同模型系的低能力版本（如小参数量的 base 或旧版模型），可以将其作为负策略，按一定比例混入 on-policy 训练 batch，不动 reward 即可让模型远离低质量输出，相当于给 OPD 加了一个“反向参考”。
- 负策略 rollout 可以预生成并缓存复用：论文显示纯负策略 rollout（α=1）时，训练时间从 9h19m 降到 3h34m（排除预生成），这对落地 LLM 蒸馏训练的成本优化很实用。
- 负样本选择有讲究：不是随便用差模型，而是同模型家族、能力明显低于 student 的版本；简单加大 temperature、persona prompt 或 drop layer 等降级 student 的方法也能带来少量提升，但远不如单独负策略（+3.4 vs +0.9~1.0 avg）。
- 可复用分析指标 NSP/NOR 做训练调试：NSP 衡量抑制是否集中在负策略偏好 token 上，NOR 衡量学生与负策略的重叠是否下降；二者与最终性能正相关，可用于监控负信号是否按预期生效。
越密集不等于越好：持续后训练中同策略自蒸馏的局限性
🧭 持续学习 · 自蒸馏 vs RL 优化
Centre for Artificial Intelligence and Robotics, HKISI, CAS · Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Nanjing University of Science and Technology
同策略自蒸馏在持续后训练中会加剧遗忘甚至崩溃，而GRPO等保守RL方法更稳健
📌 工作参考价值（4 点）
- 持续更新模型时避免密集自蒸馏：在电商搜索推荐场景，如果用LLM持续学习新品类或新意图，采用SDPO等密集自蒸馏会显著遗忘旧知识，应改用GRPO等更保守的on-policy RL方法。
- 监控参数与响应漂移：自蒸馏会导致更大的参数空间和输出分布漂移，可设置漂移阈值，一旦检测到骤变即回滚或降低学习率。
- 警惕格式退化：自蒸馏的token级监督会通过自我强化循环放大高频格式伪影（如固定模板、重复短语），在生成推荐理由或广告文案时易导致风格单一化，可引入多样性约束或温度调节。
- 同策略数据非万能：不要以为只用当前策略生成的数据就能稳定持续学习，需要结合重放缓冲或正则化手段保持旧任务能力。
多教师同策略蒸馏：LLM后训练中的能力整合
🧭 多教师同策略蒸馏·RL能力整合
Peking University · LLM Core, Xiaomi · University of Hong Kong · Renmin University of China
提出多教师同策略蒸馏（MOPD），将领域RL教师模型在学生自身rollout上蒸馏，避免曝光偏差并集成多种能力
📌 工作参考价值（4 点）
- 统一多技能代理的训练方案：电商搜索/推荐场景中，常需一个模型同时具备搜索意图解析、商品描述生成、议价对话等能力。可借鉴MOPD，先为每个技能单独用RL训练教师，再通过同策略蒸馏融合成一个学生模型，避免多任务联合RL的耦合与冲突。
- 稳定的稠密监督信号：在将教师知识整合给学生时，使用学生自身rollout与教师分布做token级KL散度损失，替代稀疏奖励，训练更平稳，适合推荐系统这类输出空间大、奖励稀疏的任务。
- 解除领域间迭代耦合：MOPD支持各领域教师并行独立优化，大幅提升多个业务线同时快速迭代的效率；电商公司可让不同团队独立优化“搜索式推荐”、“售后话术”等教师，定期蒸馏更新统一的前向模型。
- 缓解灾难性遗忘：同策略蒸馏直接从教师分布学习，而非仅靠稀疏RL奖励，可更完整地继承每个教师的能力，在扩展到新推荐场景或增加新任务时保护已学技能。